AI 防火墙(AI Firewall)
保护 AI 应用免受针对模型的攻击(Prompt 注入 / 数据泄露 / 模型欺骗)的运行时安全防护层,是 LLM 应用部署的"必备组件"。
定义
AI 防火墙是位于用户输入与 LLM 之间、以及 LLM 输出与下游之间的双向安全过滤层,主要功能:
- 入口侧:检测和阻止 Prompt 注入、越狱(Jailbreak)、滥用尝试
- 出口侧:检测和阻止幻觉、PII 泄露、有害内容、机密信息外泄
- 会话级:识别多轮攻击模式、用户行为异常
- 审计 + 合规:满足 GDPR / HIPAA / 金融监管要求
主要玩家
- Robust Intelligence — 被 Cisco 收购,AI 防火墙概念早期定义者
- Lakera — Lakera Guard,运行时 Prompt 注入防护
- Patronus AI — 输出质量评估 + 安全
- 国内:奇安信 / 深信服 / 安恒信息(探索中)
- 大厂内嵌:Anthropic Claude 内置安全过滤、OpenAI Moderation API
在 AI 产业链中的角色
AI 防火墙是 LLM 应用从"实验室"走向"生产环境"的必要前提。Cisco 2025 报告显示 86% 企业过去 12 月经历过 AI 相关安全事件,监管驱动 + 企业需求双轮加速 AI 防火墙商业化。
演进历史
- 2023 Robust Intelligence 等开始推广 "AI Firewall" 概念
- 2024-08 Cisco 收购 Robust Intelligence,主流安全厂商入场
- 2024-25 Lakera / Patronus AI 等新锐崛起
- 2025 国内 奇安信 / 深信服 跟进,行业商业化加速
相关概念
- Prompt 注入防护 / Guardrails / 红队测试
∈ belongs_to::4-03-模型生态与工具链